Lecture 19: Making Progress and Impact in AI Research

讲师: Prof. Jia-Bin Huang (Guest Lecture) 课程: CS197n Harvard - AI Research Experiences 核心问题: 如何保持研究进度？如何创造研究影响力？

一、与导师的协作关系

1. 导师是输入-输出机器

错误模式：

❌ 输入-only：只报告最终结果，不展示过程 → 无法从反馈中学习
❌ 输出-only：只执行导师指令 → 缺乏自主探索

正确做法：

✅ 建立双向反馈循环：频繁更新进展 + 获取反馈

2. 展示你的工作

核心问题清单：

What did you do?
Why did you do it?
How did you do it?
What did you find?
Why does it make sense (or not)?

[success_template](/en/original-notes/self_study_notes/cs197n/lec19-Making progress/lec19_templates/show_your_work_template(success)) [failure_template](/en/original-notes/self_study_notes/cs197n/lec19-Making progress/lec19_templates/show_your_work_template(fail))

3. 呈现失败

错误做法："I tried this, and it doesn't work." ❌

正确做法：诊断式汇报

"I've narrowed down the problem to step B. Until step A, you can see that it works, because you put in X and you get Y out, as we expect. You can see how it fails here at B. I've ruled out W and Z as the cause."
— Prof. Bill Freeman, MIT

关键：缩小问题范围 + 排除已知原因

4. 提供背景

导师如金鱼：走出办公室就忘记你说过什么

策略：

保持详细会议记录
发邮件确认讨论内容
讨论时从 "Why" 开始

5. 设定期望

错误做法："I will finish this as soon as possible." ❌

正确做法：

设定具体日期和时间目标
明确忙碌时段（考试周等）
建立互信：双方都了解你的进度

二、研究技能

1. 想象成功 (Imagine Success)

Awesomeness Test：

忽略技术难度，想象一切顺利达成目标
问自己："这个结果令人兴奋吗？"
✅ Yes → 值得做
❌ No → 拒绝平庸项目

[lec19_templates/image_success_template](/en/original-notes/self_study_notes/cs197n/lec19-Making progress/lec19_templates/image_success_template)

Richard Hamming 的 Bell Labs 故事：

"If you do not work on an important problem, it's unlikely you'll do important work."

2. 逆向工作 (Work Backward)

Forward Model ❌： $A \rightarrow B \rightarrow C \rightarrow D \rightarrow E$

从起点一步步推进
问题：可能走 6 个月才发现目标不可行

Backward Model ✅： $E \leftarrow D \leftarrow C \leftarrow B \leftarrow A$

假设 A、B、C 已解决，先做 D → E
逐步反推如何获得完美输入

[lec19_templates/work_backward_notes](/en/original-notes/self_study_notes/cs197n/lec19-Making progress/lec19_templates/work_backward_notes) [lec19_templates/work_backward_template](/en/original-notes/self_study_notes/cs197n/lec19-Making progress/lec19_templates/work_backward_template)

四大优势：

尽早看到最终结果 → 保持动力
快速验证上限 → 如果完美输入都不行，直接放弃
专注单一任务 → 每次都用完美输入工作
理解成功条件 → 明确每个阶段需要什么

3. 玩具模型 (Toy Example)

TSTMTCTMI：The Simplest Toy Model That Captures The Main Idea

案例：

问题	玩具模型
Color Constancy（颜色恒常）	$y = ab$ （抽象乘法分解）
3D Video（复杂运动）	物体恒速直线运动

价值：在简单模型建立直觉，复杂问题自然跟进

4. 从简单开始 (Simple Things First)

Sheep Counter 案例：

❌ 错误	✅ 正确
直接测试复杂场景（密集羊群）	先测试简单场景（单只羊）
失败无法提供洞察	成功后逐步扩展

原则：让简单案例先工作

5. 一次只改一件事

错误做法 ❌：

batch_size = 4 → 16
learning_rate = 1e-3 → 1e-5
use_abc_loss = False → True

结果变差 → 学到什么？Nothing.

正确做法 ✅：

一次只改一个 hyperparameter
观察因果关系：输入变化 → 输出变化

三、创造研究影响力

⚠️ 这部分内容暂时跳过，待后续补充

四、讨论问答

如何接触教授或实验室？

[lec19_templates/application_template](/en/original-notes/self_study_notes/cs197n/lec19-Making progress/lec19_templates/application_template)

教授视角：接收学生是一种投资，时间是他们最宝贵的资源

你需要展示：

维度	要点
动机	证明你不是为了混学分/实习推荐
思考	不要只做"执行机器"，要有自己的想法
能力	展示相关研究经历和承诺
想法	抛出想法（即使不完美），展示主动性

教授最怕的场景：

投入大量时间 → 无成果产出
学生只承诺 1 学期 → 无法完成可发表工作

关键：从教授视角出发，证明你能提供价值

核心记忆点

导师关系：输入-输出 + 展示过程 + 诊断失败 + 提供背景 + 设定期望
研究技能：想象成功 + 逆向工作 + 玩具模型 + 简单开始 + 单变量实验

Lecture 19: Making Progress and Impact in AI Research - Read